The Intruder Threshold: A Spectral Law for LoRA Fine-Tuning
侵入者阈值：LoRA微调的频谱定律
🧭 LoRA微调侵入维度预测 · 理论临界阈值
Technical University of Munich
推导逐层临界更新强度，无参数预测LoRA微调产生灾难性遗忘的侵入维度
📌 工作参考价值（4 点）
- LoRA 超参预警：计算每层临界强度 \(s^* = \bar{\theta}/(\gamma \sigma_1(BA))\)，仅需一次 SVD，无需验证集扫描，可在微调前诊断层是否易产生记忆覆盖，指导学习率、秩 \(r\) 的设置。
- 遗忘抑制规则：依据阈值推导的 spike-budget rule，限制侵入维度数量，在最脆弱模型上降低 62% 遗忘，且不损失任务性能，适用于推荐系统多任务微调时保护旧任务。
- 安全微调策略选择：全量微调天然安全（更新分散在阈值以下），若 LoRA 更新强度接近阈值，可切换更高秩或调整学习率，避免 Agent 在持续学习时遗忘领域知识。
- 层冻结依据：通过阈值快速筛选高风险层，仅冻结这些层或对其施加更小学习率，在电商搜索或广告模型中平衡新任务学习与遗留能力。